Sesión 03

Validación de encuestas

Christian Vásquez-Velasco, Bach., M.Sc.(c)

2023

Objetivos de la Sesión

Comprender la importancia de validar instrumentos de medición.
Aprender sobre la validación de contenido y su aplicación.
Explorar las técnicas de validación de constructo, incluyendo el Análisis Factorial Exploratorio (AFE) y el Análisis Factorial Confirmatorio (AFC).
Aprender a calcular el coeficiente alfa de Cronbach como medida de confiabilidad.
Practicar la aplicación de técnicas de validación utilizando R.

Agenda de la Sesión

1. Importancia de la Validación de Instrumentos (30 minutos)

Introducción a la validación de encuestas.
Razones para validar instrumentos.
Consecuencias de no validar adecuadamente.

2. Validación de Contenido (30 minutos)

Qué es la validación de contenido.
Proceso de revisión y evaluación por expertos.
Ejemplos de preguntas mal formuladas.

Agenda de la Sesión

3. Validación de Constructo (30 minutos)

Introducción al Análisis Factorial Exploratorio (AFE).
Uso del AFE en la validación de constructo.
Introducción al Análisis Factorial Confirmatorio (AFC).
Diferencias entre AFE y AFC.

4. Confiabilidad y Práctica en R (30 minutos)

Cálculo del coeficiente alfa de Cronbach.
Interpretación de los resultados del coeficiente alfa.
Demostración práctica de cómo realizar AFE y AFC en R.

Importancia de la Validación de Instrumentos

Introducción

La validación de encuestas es un proceso crítico en la investigación y recopilación de datos. Consiste en garantizar que los instrumentos de medición, como cuestionarios y escalas, midan de manera precisa y confiable las variables que se pretenden evaluar.

Un cuestionario no validado puede llevar a resultados inexactos y sesgados, lo que a su vez puede conducir a conclusiones erróneas.

Razones para Validar Instrumentos

Confiabilidad de los Resultados: La validación asegura que los resultados sean consistentes y confiables a lo largo del tiempo y en diferentes situaciones. Esto es fundamental para la toma de decisiones informadas.
Validez de las Mediciones: La validación garantiza que las preguntas midan lo que se pretende medir. Esto es esencial para asegurarse de que los datos reflejen con precisión los conceptos que se están investigando.
Reducción de Errores: La validación ayuda a identificar y reducir posibles fuentes de error en las mediciones, como preguntas ambiguas o sesgos implícitos.
Credibilidad de la Investigación: Una investigación respaldada por instrumentos validados es más creíble y aceptada en la comunidad académica y profesional.
Ahorro de Tiempo y Recursos: Validar adecuadamente desde el principio puede ahorrar tiempo y recursos en comparación con tener que corregir problemas en etapas posteriores.

Consecuencias de no Validar Adecuadamente:

No validar adecuadamente los instrumentos de medición puede tener graves consecuencias:

Resultados Inexactos: Los datos recopilados pueden no representar la realidad, lo que lleva a decisiones erróneas basadas en información incorrecta.
Falta de Credibilidad: Una investigación con instrumentos no validados carece de credibilidad y puede ser cuestionada por otros investigadores.
Desperdicio de Recursos: La inversión en la recopilación de datos se desperdicia si los resultados no son confiables o válidos.
Daño a la Reputación: La reputación del investigador o la organización puede verse afectada si se publican resultados no válidos.

Conclusiones

En resumen, la validación de instrumentos es esencial para garantizar que los datos recopilados sean precisos, confiables y representativos de los conceptos que se están estudiando. No hacerlo adecuadamente puede tener consecuencias negativas en la toma de decisiones y en la credibilidad de la investigación.

Validación de Contenido

Introducción

La validación de contenido es un proceso fundamental en el desarrollo de cuestionarios y encuestas. Se refiere a la evaluación crítica y sistemática de las preguntas y elementos que componen un instrumento de medición para garantizar que sean apropiados y relevantes para medir el concepto que se pretende evaluar.

En esencia, se trata de asegurarse de que las preguntas sean claras, pertinentes y adecuadas para medir lo que se desea medir.

Proceso de Revisión y Evaluación por Expertos

La validación de contenido implica la revisión minuciosa de cada pregunta y elemento del cuestionario por parte de expertos en el campo de estudio. Aquí hay un proceso general:

Selección de Expertos: Identificar a un grupo de expertos en el tema que se va a medir. Estos expertos deben tener un conocimiento profundo en el área relevante.
Distribución del Cuestionario: Proporcionar a los expertos el cuestionario para su revisión. Pueden ser académicos, profesionales o cualquier persona con experiencia relevante.
Revisión Individual: Cada experto revisa el cuestionario de forma independiente y evalúa cada pregunta en términos de claridad, relevancia y adecuación para medir el concepto.
Reunión de Expertos: Los expertos se reúnen para discutir sus evaluaciones. Durante esta reunión, se pueden identificar preguntas problemáticas y realizar modificaciones necesarias.
Iteración: Si es necesario, el cuestionario se modifica en función de las sugerencias de los expertos y se somete a una segunda revisión.
Consenso: Se busca llegar a un consenso sobre las preguntas y elementos del cuestionario. Las preguntas que no cumplan con los estándares son eliminadas o revisadas.

Ejemplos de Preguntas Mal Formuladas

Pregunta Ambigua: “¿Con qué frecuencia haces ejercicio?” Esta pregunta es ambigua porque “frecuencia” puede interpretarse de diferentes maneras. ¿Se refiere a la cantidad de días por semana o al número de horas por sesión?
Pregunta de Doble Negación: “¿No estás en desacuerdo con esta afirmación?” Esta pregunta utiliza una doble negación (“no” y “desacuerdo”), lo que puede confundir a los encuestados.
Pregunta Sesgada: “¿Cuánto tiempo dedicas a actividades útiles en comparación con actividades inútiles?” Esta pregunta contiene juicios de valor (“útiles” vs. “inútiles”) que pueden sesgar las respuestas.

Formato de Validación por Expertos para Cuestionario

Nombre del Proyecto:

Fecha de Revisión:

Experto Revisor:

Instrucciones para el Experto Revisor:

Por favor, revise el cuestionario adjunto y proporcione comentarios y sugerencias en cada pregunta y elemento.

Evalúe la claridad, relevancia y adecuación de cada pregunta para medir el concepto deseado.

Si encuentra algún problema con la redacción, estructura o contenido de una pregunta, indíquelo claramente.

Si cree que alguna pregunta es ambigua, difícil de entender o sesgada, señálelo.

Si tiene alguna sugerencia para mejorar una pregunta o elemento, inclúyala en sus comentarios.

Si considera que alguna pregunta no es necesaria o no es relevante para el propósito del cuestionario, hágalo saber.

Cuestionario a Evaluar:

Por favor, indique sus comentarios y sugerencias en el espacio proporcionado junto a cada pregunta o elemento.

Pregunta 1:

Comentarios y Sugerencias:

Pregunta 2:

Comentarios y Sugerencias:

Pregunta 3:

Comentarios y Sugerencias:

Formato de Validación por Expertos para Cuestionario

Elemento Adicional (si lo hubiera):

Comentarios y Sugerencias:

Comentarios Generales:

Proporcione cualquier comentario general sobre el cuestionario, su estructura o cualquier otro aspecto relevante.

Firma del Experto Revisor:

Fecha:

Nota

Este formato es adaptable y puedes imprimirlo o utilizarlo en formato digital para enviarlo a los expertos que realizarán la revisión. Recuerda recopilar los comentarios de varios expertos para obtener una perspectiva completa y valiosa sobre la validez del cuestionario.

Formato de Validación por Expertos para Cuestionario

Nombre del Proyecto:

Fecha de Revisión:

Experto Revisor:

Instrucciones para el Experto Revisor:

Por favor, revise el cuestionario adjunto y proporcione una evaluación numérica en una escala del 1 al 5 para cada pregunta y elemento.

Utilice la siguiente escala de evaluación:

1: Totalmente inadecuado
2: Inadecuado
3: Neutral
4: Adecuado
5: Totalmente adecuado

Evalúe la claridad, relevancia y adecuación de cada pregunta para medir el concepto deseado.

Si encuentra algún problema con la redacción, estructura o contenido de una pregunta, refleje esto en su evaluación.

Si cree que alguna pregunta es ambigua, difícil de entender o sesgada, indíquelo con su evaluación.

Si tiene alguna sugerencia para mejorar una pregunta o elemento, anótela en los comentarios.

Si considera que alguna pregunta no es necesaria o no es relevante para el propósito del cuestionario, refleje esto en su evaluación.

Formato de Validación por Expertos para Cuestionario

Cuestionario a Evaluar:

Por favor, asigne una puntuación del 1 al 5 y proporcione comentarios si es necesario.

Pregunta 1:

Evaluación: [ ] Comentarios:

Pregunta 2:

Evaluación: [ ] Comentarios:

Pregunta 3:

Evaluación: [ ] Comentarios:

…

Elemento Adicional (si lo hubiera):

Evaluación: [ ] Comentarios:

Formato de Validación por Expertos para Cuestionario

Evaluación General:

Claridad del Cuestionario (1-5):

Relevancia del Cuestionario (1-5):

Adecuación del Cuestionario (1-5):

Comentarios Generales:

Proporcione cualquier comentario general sobre el cuestionario o cualquier otro aspecto relevante.

Puntuación General:

Total de Puntos: ________ (Suma de todas las evaluaciones)

Firma del Experto Revisor:

Fecha:

Nota

Este formato permite una evaluación más objetiva de la validez del cuestionario, y al calcular la puntuación total, puedes obtener una medida cuantitativa de la calidad del cuestionario en función de la revisión de expertos.

Conclusiones

Validación de Constructo

Introducción al Análisis Factorial Exploratorio (AFE)

El Análisis Factorial Exploratorio (AFE) es una técnica estadística utilizada en la validación de constructos en la investigación. Su objetivo principal es identificar la estructura subyacente o los factores latentes que pueden explicar las relaciones observadas entre variables. Aquí hay algunos puntos clave:

Fundamento Estadístico: El AFE se basa en la idea de que las variables observadas (preguntas de un cuestionario, por ejemplo) están influenciadas por factores no observados o latentes. Estos factores pueden ser conceptos subyacentes o dimensiones subyacentes que queremos medir.
Objetivo: El objetivo principal del AFE es determinar cuántos factores subyacentes existen y cómo están relacionados con las variables observadas. Ayuda a reducir la dimensionalidad de los datos al identificar patrones subyacentes.
Método de Extracción de Factores: En el AFE, se utilizan métodos como el Método de Componentes Principales o el Método de Máxima Verosimilitud para extraer factores. Estos métodos identifican la estructura de factores que mejor explica la varianza en los datos.

Uso del AFE en la Validación de Constructo

El AFE es útil en la validación de constructos porque permite evaluar la estructura subyacente de un conjunto de variables observadas. Esto implica:

Identificar la validez convergente y discriminante: El AFE ayuda a evaluar si las variables que se supone que miden el mismo constructo realmente se agrupan juntas (validez convergente) y si las variables que se supone que miden constructos diferentes se agrupan de manera diferente (validez discriminante).
Reducción de dimensiones: Ayuda a reducir la dimensionalidad de los datos al identificar los factores más importantes y permitir la creación de puntajes de factor para su uso en análisis posteriores.

Introducción al Análisis Factorial Confirmatorio (AFC)

El Análisis Factorial Confirmatorio (AFC) es otra técnica utilizada en la validación de constructos. A diferencia del AFE, en el AFC se prueban modelos específicos que establecen relaciones entre variables observadas y factores subyacentes predefinidos.

Fundamento Estadístico: El AFC se basa en la confirmación de un modelo teórico predefinido en lugar de explorar la estructura de factores de manera libre.
Objetivo: El AFC busca confirmar si un modelo teórico específico se ajusta bien a los datos observados. Los modelos pueden ser simples o complejos, según las relaciones entre las variables observadas y los factores latentes.
Comparación de Modelos: En el AFC, se utilizan estadísticas como el Chi-cuadrado, los índices de ajuste como el CFI (Comparative Fit Index) y el RMSEA (Root Mean Square Error of Approximation) para evaluar qué tan bien se ajusta el modelo a los datos.

Diferencias entre AFE y AFC

Exploración vs. Confirmación: La principal diferencia radica en su enfoque. El AFE explora la estructura subyacente, mientras que el AFC confirma un modelo predefinido.
Grado de Flexibilidad: El AFE es más flexible y permite explorar diferentes estructuras de factores, mientras que el AFC es más rígido ya que se basa en un modelo teórico.
Uso en la Validación de Constructo: Ambos métodos son valiosos en la validación de constructos, y su elección depende de los objetivos de investigación y la teoría subyacente.

Confiabilidad y Práctica en R

Cálculo del Coeficiente Alfa de Cronbach

El coeficiente alfa de Cronbach es una medida comúnmente utilizada para evaluar la confiabilidad de un cuestionario o escala. Representa la consistencia interna de las preguntas o ítems en una escala. El coeficiente alfa varía entre 0 y 1, donde valores más cercanos a 1 indican una mayor consistencia interna.

Fórmula del Coeficiente Alfa de Cronbach:

\[α = (N / (N - 1)) * [1 - (Σs_i^2 / s_t^2)]\]

Donde:

\(α\) es el coeficiente alfa de Cronbach.

\(N\) es el número de ítems o preguntas en la escala.

\(s_i^2\) es la varianza de la puntuación en el ítem i.

\(s_t^2\) es la varianza total de las puntuaciones en todos los ítems.

Interpretación de los Resultados del Coeficiente Alfa

Un valor de alfa mayor a 0.7 generalmente se considera aceptable en la mayoría de las investigaciones.
Valores más cercanos a 1 indican una mayor consistencia interna y, por lo tanto, una mayor confiabilidad.
Valores inferiores a 0.7 pueden indicar la necesidad de revisar o eliminar ítems del cuestionario.

Demostración Práctica en R

Puedes calcular el coeficiente alfa de Cronbach en R utilizando paquetes como “psych”. Aquí hay un ejemplo de cómo hacerlo:

# Instala y carga el paquete "psych" si aún no está instalado
# install.packages("psych")
library(psych)

# Crea una matriz de datos ficticia (reemplázala con tus datos reales)
datos <- data.frame(
  Pregunta1 = c(4, 5, 3, 4, 5),
  Pregunta2 = c(3, 4, 2, 3, 4),
  Pregunta3 = c(5, 4, 5, 4, 3)
)

# Calcula el coeficiente alfa de Cronbach
resultado <- alpha(datos)

Some items ( Pregunta3 ) were negatively correlated with the total scale and 
probably should be reversed.  
To do this, run the function again with the 'check.keys=TRUE' option

print(resultado)


Reliability analysis   
Call: alpha(x = datos)

  raw_alpha std.alpha G6(smc) average_r   S/N ase mean   sd median_r
     -0.92     -0.92   -0.28     -0.19 -0.48 1.2  3.9 0.38    -0.79

    95% confidence boundaries 
         lower alpha upper
Feldt    -8.72 -0.92  0.79
Duhachek -3.35 -0.92  1.51

 Reliability if an item is dropped:
          raw_alpha std.alpha G6(smc) average_r      S/N alpha se var.r med.r
Pregunta1      -7.3      -7.3   -0.79     -0.79 -8.8e-01      7.5    NA -0.79
Pregunta2      -7.3      -7.3   -0.79     -0.79 -8.8e-01      7.5    NA -0.79
Pregunta3       1.0       1.0    0.50      1.00  9.0e+15      0.0    NA  1.00

 Item statistics 
          n raw.r std.r r.cor r.drop mean   sd
Pregunta1 5  0.89  0.89   NaN   0.33  4.2 0.84
Pregunta2 5  0.89  0.89   NaN   0.33  3.2 0.84
Pregunta3 5 -0.42 -0.42   NaN  -0.79  4.2 0.84

Non missing response frequency for each item
            2   3   4   5 miss
Pregunta1 0.0 0.2 0.4 0.4    0
Pregunta2 0.2 0.4 0.4 0.0    0
Pregunta3 0.0 0.2 0.4 0.4    0

Demostración Práctica de AFE y AFC en R

Para realizar AFE y AFC en R, puedes usar paquetes como “lavaan” y “psych”. Aquí hay un ejemplo de cómo realizar AFE y AFC:

# Instala y carga el paquete "psych" si aún no está instalado
# install.packages("psych")
library(psych)

# Crea un conjunto de datos de ejemplo (puedes reemplazar esto con tus propios datos)
datos <- data.frame(
  X1 = rnorm(100),
  X2 = rnorm(100),
  X3 = rnorm(100)
)

# Calcula la matriz de correlación
matriz_correlacion <- cor(datos)

# Realiza la prueba de esfericidad de Bartlett
resultado_bartlett <- cortest.bartlett(matriz_correlacion, n = nrow(datos))

# Muestra los resultados
print(resultado_bartlett)

$chisq
[1] 1.591993

$p.value
[1] 0.6612067

$df
[1] 3

# Calcula el estadístico de Kaiser - Meier - Olkin
KMO(matriz_correlacion)

Kaiser-Meyer-Olkin factor adequacy
Call: KMO(r = matriz_correlacion)
Overall MSA =  0.51
MSA for each item = 
  X1   X2   X3 
0.51 0.51 0.55

Demostración Práctica de AFE y AFC en R

# Realiza el AFE utilizando la función "fa"
resultados_afe <- fa(datos,
                     nfactors = 3,
                     rotate = "varimax")

# Muestra los resultados del AFE
print(resultados_afe)

Factor Analysis using method =  minres
Call: fa(r = datos, nfactors = 3, rotate = "varimax")
Standardized loadings (pattern matrix) based upon correlation matrix
     MR1   MR2 MR3    h2   u2 com
X1  0.28  0.16   0 0.105 0.90 1.6
X2 -0.26 -0.23   0 0.119 0.88 2.0
X3  0.11  0.19   0 0.047 0.95 1.6

                       MR1  MR2  MR3
SS loadings           0.16 0.11 0.00
Proportion Var        0.05 0.04 0.00
Cumulative Var        0.05 0.09 0.09
Proportion Explained  0.59 0.41 0.00
Cumulative Proportion 0.59 1.00 1.00

Mean item complexity =  1.7
Test of the hypothesis that 3 factors are sufficient.

df null model =  3  with the objective function =  0.02 with Chi Square =  1.95
df of  the model are -3  and the objective function was  0 

The root mean square of the residuals (RMSR) is  0 
The df corrected root mean square of the residuals is  NA 

The harmonic n.obs is  100 with the empirical chi square  0  with prob <  NA 
The total n.obs was  100  with Likelihood Chi Square =  0  with prob <  NA 

Tucker Lewis Index of factoring reliability =  -1.763
Fit based upon off diagonal values = 1
Measures of factor score adequacy             
                                                    MR1   MR2 MR3
Correlation of (regression) scores with factors    0.37  0.31   0
Multiple R square of scores with factors           0.14  0.10   0
Minimum correlation of possible factor scores     -0.72 -0.81  -1

# Plotea un gráfico de scree para visualizar la varianza explicada por cada factor
psych::scree(datos)

# Plotea un gráfico de cargas factoriales
psych::fa.diagram(resultados_afe)

Demostración Práctica de AFE y AFC en R

# Instala y carga el paquete "lavaan" si aún no está instalado
# install.packages("lavaan")
library(lavaan)

# Definición del modelo de AFC
modelo <- ' visual  =~ x1 + x2 + x3 
              textual =~ x4 + x5 + x6
              speed   =~ x7 + x8 + x9 '

# Realiza el análisis factorial confirmatorio
resultado_afc <- cfa(modelo, data = HolzingerSwineford1939)

# Muestra los resultados del AFC
summary(resultado_afc)

lavaan 0.6.16 ended normally after 35 iterations

  Estimator                                         ML
  Optimization method                           NLMINB
  Number of model parameters                        21

  Number of observations                           301

Model Test User Model:
                                                      
  Test statistic                                85.306
  Degrees of freedom                                24
  P-value (Chi-square)                           0.000

Parameter Estimates:

  Standard errors                             Standard
  Information                                 Expected
  Information saturated (h1) model          Structured

Latent Variables:
                   Estimate  Std.Err  z-value  P(>|z|)
  visual =~                                           
    x1                1.000                           
    x2                0.554    0.100    5.554    0.000
    x3                0.729    0.109    6.685    0.000
  textual =~                                          
    x4                1.000                           
    x5                1.113    0.065   17.014    0.000
    x6                0.926    0.055   16.703    0.000
  speed =~                                            
    x7                1.000                           
    x8                1.180    0.165    7.152    0.000
    x9                1.082    0.151    7.155    0.000

Covariances:
                   Estimate  Std.Err  z-value  P(>|z|)
  visual ~~                                           
    textual           0.408    0.074    5.552    0.000
    speed             0.262    0.056    4.660    0.000
  textual ~~                                          
    speed             0.173    0.049    3.518    0.000

Variances:
                   Estimate  Std.Err  z-value  P(>|z|)
   .x1                0.549    0.114    4.833    0.000
   .x2                1.134    0.102   11.146    0.000
   .x3                0.844    0.091    9.317    0.000
   .x4                0.371    0.048    7.779    0.000
   .x5                0.446    0.058    7.642    0.000
   .x6                0.356    0.043    8.277    0.000
   .x7                0.799    0.081    9.823    0.000
   .x8                0.488    0.074    6.573    0.000
   .x9                0.566    0.071    8.003    0.000
    visual            0.809    0.145    5.564    0.000
    textual           0.979    0.112    8.737    0.000
    speed             0.384    0.086    4.451    0.000

# Plotea el modelo
semPlot::semPaths(resultado_afc, "est", fixedStyle = FALSE)

# Plotea el modelo
semPlot::semPaths(resultado_afc, "std", fixedStyle = FALSE)

¿Preguntas?

Hagamos una pausa

Tomemos un descanso de 5 minutos…

Estire las piernas …

Deje de ver las pantallas …

… cualquier , las del celular también.